¿Qué controla realmente la norma de pesos en Grokking?
Descubre cómo la escala de logits, y no la norma de pesos, determina el retraso en Grokking. Un estudio revela que el 97% del efecto depende de la saturación
#entropía cruzada
Pérdida de Divergencia Kullback-Leibler Generalizada
Descubre cómo la nueva pérdida GKL mejora la robustez adversarial y la destilación de conocimiento, logrando resultados líderes en RobustBench.
El programa sigue ahí: Ley de conservación en descubrimiento
El descubrimiento de programas no es imposible, tiene un costo medible: el conocimiento estructural se intercambia directamente con el esfuerzo de búsqueda. Conoce el teorema.
Desacuerdo entre modelos como señal de corrección sin etiquetas
Descubre cómo el desacuerdo entre modelos de IA permite detectar errores sin etiquetas. Un método simple y sin entrenamiento que supera a las técnicas tradicionales.
Análisis de campo medio de auto-atención multicabezal bajo entropía cruzada
Explora un nuevo marco teórico de campo medio para la auto-atención multicabezal, estableciendo condiciones de convergencia y estabilidad bajo entrenamiento con entropía cruzada.
Investigando la pérdida de histograma en regresión
¿Por qué la pérdida de histograma mejora la regresión? Investigamos sus beneficios: optimización, no información extra. Aplicable sin costoso ajuste de hiperparámetros.
Aprendizaje por Refuerzo desde Retroalimentación Rica con DAgger Distribucional
Descubre DistIL: aprendizaje por refuerzo con retroalimentación rica para razonamiento, código y matemáticas. ¡Lee más!
El borde de estabilidad modela selectivamente el aprendizaje en la distribución
Descubre cómo el borde de estabilidad redistribuye el aprendizaje entre grupos de datos, beneficiando a unos y suprimiendo a otros.